1
성능을 넘어서: 책임 있는 AI로의 전환
PolyU COMP5511Lesson 12
00:00

패러다임의 전환

우리는 "무슨 수를 써서라도 성능" 위주의 사고방식에서 책임 있는 AI(RAI) 프레임워크로 전환하고 있습니다. 이 새로운 시대에는 기술적 성공이 윤리적 견고성과 안전 장치에 엄격히 달려 있습니다.

1. 제약 최적화

역사적으로 목표는 손실 함수 $L(\theta)$를 최소화하는 것이었습니다. 새로운 패러다임은 AI를 제약 조건이 있는 최적화 문제로 취급합니다: $$\max P \text{ 제약조건 } C_1, C_2, \dots, C_n$$ 여기서 $C$는 양보할 수 없는 안전 및 공정성 임계값을 나타냅니다.

2. "인비트로(In-Vitro)" vs "인비보(In-Vivo)" 격차

모델은 종종 정적 벤치마크에서 최첨단(SOTA) 결과를 달성하지만 (인비트로(in-vitro)), 실제 사회기술적 환경에서는 예기치 못한 상호작용으로 인해 치명적인 실패를 보입니다 (인비보(in-vivo)).

전통적 AI(정확도에 과적합)정확도속도공정성설명 가능성견고성비용 효율성패러다임 전환책임 있는 AI(균형 잡힌 트레이드오프)정확도속도공정성설명 가능성견고성비용 효율성

왼쪽: 높은 정확도/속도, 안전성/투명성 제로. 오른쪽: 안전성, 공정성, 해석 가능성을 나타내는 균형 잡힌 육각형.

예시: 고빈도 매매

성능만 중시하는 모델은 ROI를 극대화하면 성공합니다. 그러나 RAI 모델은 높은 ROI를 달성했을지라도 다음과 같은 현상이 발생하면 실패로 간주됩니다 "플래시 크래시(급락)" 시장 안정성 보호 장치가 부족하여 발생하는 경우입니다.